Regression Evaluation

Evaluation

---

Coefficient of Determination

---

평가의 지표가 될 기준 함수를 위해, constant function을 정의한다.

$$f(x)\approx g(x|w)=w$$

: 어떤 $x$가 들어오든 $w$라는 일정한 constant를 출력하는 함수가 된다.

이에 대해 MLE를 진행하면, $w=\frac{\sum _t{r}^t}{N}$: label의 평균이 된다.

R2 Score

---

• SSR(Residual Sum of Squares): $\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2$
• SSE(Explained Sum of Sqaures): $\sum _{i=1}^n(\widehat{y_i}-\bar{y}{)}^2$
• SST(Total Sum of Squres): $\sum _{i=1}^n(y_i-\bar{y}{)}^2$

이때, **RSE(Relative squre error)**는, $E_{\text{RSE}}\equiv \frac{\sum _t(r^t-g(\overrightarrow{x^t}|\theta ){)}^2}{\sum _t(r^t-\bar{r}{)}^2}$: $\frac{\text{SSR}}{\text{SST}}$.
이는, constant functio에 비해, 새롭게 비교하고자 하는 $g$가 어느 정도의 error율을 가져오는지에 대한 의미가 된다.

즉, 1에서 $E_{\text{RSE}}$를 빼면 $g$의 Data에 대한 설명력으로 볼 수 있으며 이를 R2 score라고 한다.

$$R^2\text{ score}=\frac{\text{SSE}}{\text{SST}}=1-\frac{\text{SSR}}{\text{SST}}$$

: 음의 상관관계에 있다면 $R=-1$, 양의 상관관계에 있다면 $R=1$이 된다.

Expected Square Error for Regression

---

이 때, $r$에 대해 Train Data에 포함되지 않은 새로운 미래 데이터 $x$를 조건으로 하는 square Error의 Expection식은

: $x$는 고정되어 있는 conditinal 값이고, $r$은 변한다는 점에 유의한다.

• ${\mathbb{E}}_{r|x}[(r-\mathbb{E}[r|x]{)}^2]$: Variance of Noise, 데이터에 포함된 불가피한 오차(irreducible error)을 의미하며, 모델이 아무리 정확해지더라도 해결할 수 없는 오차이다.
  • $r-\mathbb{E}[r|x]$: $ϵ$과 동일하다. $ϵ$은 어떠한 Gaussian Distribution을 따라므로 이는 곧 ${\sigma }^2$를 의미하게 된다.
  • $\mathbb{E}[r|x]$: 주어진 $x$에 대한 $r$의 기대값으로, 새로운 데이터에 대한 모델이 예측할 수 있는 최선의 추정치이다.
• $((\mathbb{E}[r|x]-g(x){)}^2$: model의 추정값과, 최선의 기대값 사이의 MSE. 즉, Error이다.

Expected Square Error for Regression Over Train data

---

위의 식을 다시 확장하여, Train Data $D$에 대한 Expectation으로 바꾸어 regression에 대한 square error가 곧 Bias제곱과 Variance의 합임을 증명 가능하다.

• ${\mathbb{E}}_D[({\mathbb{E}}_r[r|x]-{\mathbb{E}}_D[g(x)]{)}^2|x]=({\mathbb{E}}_r[r|x]-{\mathbb{E}}_D[g(x)]{)}^2$: Bias의 제곱.
• ${\mathbb{E}}_D[(g(x)-{\mathbb{E}}_D[g(x)]{)}^2|x]$: Variance.

그 외에 $\mathbb{E}[r|x]$가 아닌 $r$에 대해서, 아니면 미래 데이터 $x$ 역시 변형된다 가정하고 그에 대한 Expectation취해도 variance와 bias의 제곱의 합으로 그 Error가 나옴이 증명된다.

결론

---